УДК 330.4:519.2

НОВАЯ ПАРАДИГМА АНАЛИЗА СТАТИСТИЧЕСКИХ И ЭКСПЕРТНЫХ ДАННЫХ В ЗАДАЧАХ УПРАВЛЕНИЯ

А.И. Орлов
Московский государственный технический университет им. Н.Э. Баумана
Россия, 105005, Москва, 2-я Бауманская ул., 5
E-mail: prof-orlov@mail.ru 

Ключевые слова: новая парадигма, анализ данных, экспертные оценки, экономика, математические методы, организационно-экономическое моделирование, эконометрика, прикладная статистика,, теория принятия решений

Аннотация: Доклад посвящен методам анализа статистических и экспертных данных в задачах управления, рассматриваемых в рамках научной специальности «Математические методы экономики», включающей организационно-экономическое и экономико-математическое моделирование, эконометрику и статистику, а также экономические аспекты теории принятия решений, системного анализа, кибернетики, исследования операций. Рассмотрены основные положения новой парадигмы этой научно-практической области, разработанной докладчиком в 1980-х годах в процессе создания Всесоюзной статистической ассоциации. Новая парадигма сопоставлена со старой (соответствующей середине XX века). Дана сводка монографий, учебников и учебных пособий, подготовленных под руководством докладчика в XXI в. в соответствии с новой парадигмой.

1. Введение

Методы анализа статистических и экспертных данных в задачах управления рассматриваем в рамках математических и инструментальных методов экономики – одной из специальностей научных работников, относящаяся к экономическим наукам. Она посвящена разработке интеллектуальных инструментов для решения задач теории и практики экономического анализа, прежде всего тех, в которых необходимо проводить сбор и обработку статистических и экспертных данных. 
Так, конкретные модели и методы экономики предприятия и организации производства основаны, в частности, на научных результатах таких научных областей, как организационно-экономическое и экономико-математическое моделирование, эконометрика и статистика. Эти научные области относятся к математическим методам экономики. Они предоставляют интеллектуальные инструменты для решения различных задач стратегического планирования и развития предприятий, организации производства и управления хозяйствующими субъектами, конструкторской и технологической подготовки производства. В монографии [1] на с.395-424 выделено 195 групп задач управления промышленными предприятиями и для них указаны базовые группы экономико-математических методов и моделей.
Развитие методов анализа статистических и экспертных данных в задачах управления и других математических методов экономики привело к формированию новой парадигмы в этой области, существенно отличающейся от послевоенной парадигмы, созданной в 1950-1970 гг. и используемой многими преподавателями и научными работниками и в настоящее время. Настоящий доклад посвящен основным идеям новой парадигмы анализа статистических и экспертных данных в задачах управления, в более общих терминах – новой парадигмы математических методов экономики. 

2. Основные понятия

Целесообразно начать с определений используемых понятий.
Термин «парадигма» происходит от греческого «paradeigma» — пример, образец и означает совокупность явных и неявных (и часто не осознаваемых) предпосылок, определяющих научные исследования и признанных на определенном этапе развития науки [2]. 
Организационно-экономическое моделирование – научная, практическая и учебная дисциплина, посвященная разработке, изучению и применению математических и статистических методов и моделей в экономике и управлении народным хозяйством, прежде всего промышленными предприятиями и их объединениями [3].
Экономико-математическое моделирование — описание экономических процессов и явлений в виде экономико-математических моделей. При этом экономико-математическая модель — математическое описание экономического процесса или объекта, произведенное в целях их исследования и управления ими: математическая запись решаемой экономической задачи (поэтому часто термины «модель» и «задача» употребляются как синонимы). В самой общей форме модель — условный образ объекта исследования, сконструированный для упрощения этого исследования. При построении модели предполагается, что ее непосредственное изучение дает новые знания о моделируемом объекте ]4]. 
Эконометрика – это наука, изучающая конкретные количественные и качественные взаимосвязи экономических объектов и процессов с помощью математических и статистических методов и моделей [5]. Обычно используют несколько более узкое определение: эконометрика – это статистические методы в экономике [6]. 
Статистика исходит прежде всего из опыта; недаром ее зачастую определяют как науку об общих способах обработки результатов эксперимента [7]. Прикладная статистика – это наука о том, как обрабатывать данные [8]. 
Очевидна близость, переплетение, зачастую совпадение всех научных, практических и учебных дисциплин, рассмотренных выше. К ним можно прибавить еще несколько: теорию принятия решений, системный анализ, кибернетику, исследование операций… Исходя из нашего профессионального опыта, попытки искусственно ввести границы между этими дисциплинами не являются плодотворными.
На Вторых Чарновских чтениях (Второй международной научной конференции по организации производства) [9] работала секция «Организационно-экономическое и экономико-математическое моделирование, эконометрика и статистика». Это название было получено путем объединения названий учебных дисциплин «Организационно-экономическое моделирование», «Эконометрика», «Прикладная статистика», «Статистика», которые изучаются студентами Научно-учебного комплекса «Инженерный бизнес и менеджмент», а также названия Лаборатории экономико-математических методов в контроллинге Научно-образовательного центра «Контроллинг и управленческие инновации» Московского государственного технического университета им. Н.Э. Баумана. На заседании секции была проведена дискуссия по выбору наиболее адекватного названия научной области, к которой относились представленные работы. Приведенное выше название признано слишком длинным. Название «Организационно-математическое моделирование» отклонено как малоизвестное и неоправданно сужающее рассматриваемую тематику. Одобрено название «Математическое моделирование в организации производства», а при проведении конференций по более широкой тематике – «Математическое моделирование экономики и управления». Заметная доля исследований в этой области относятся к научной специальности «Математические и инструментальные методы экономики», практически все используют те или иные математические методы экономики.

3. Разработка новой парадигмы

Организационно-экономическое и экономико-математическое моделирование, эконометрика и статистика предоставляют интеллектуальные инструменты для решения различных задач организации производства и управления предприятиями и организациями. Например, в учебнике по организации и планированию машиностроительного производства (производственному менеджменту) [10] более 20 раз используются эконометрические (если угодно, математические и статистические) методы и модели [11].  
Рассматриваемые методы широко используются для решения различных задач теории и практики экономического анализа. В частности, проводится когнитивное моделирование [12] развития наукоемкой промышленности (на примере оборонно-промышленного комплекса), модельное обоснование инновационного развития наукоемкого сектора российской экономики [13]. Моделируют организационные изменения [14], применяют информационные технологии [15]. Все шире используются экспертные оценки [16], в том числе для построения обобщенных показателей (рейтингов) [17].
Во второй половине 1980-х гг. в нашей стране развернулось общественное движение по созданию профессионального объединения специалистов в области организационно-экономического и экономико-математического моделирования, эконометрики и статистики (кратко – статистиков). Аналоги такого объединения - британское Королевское статистическое общество (основано в 1834 г.) и Американская статистическая ассоциация (создана в 1839 г.). К сожалению, деятельность учрежденной в 1990 г. Всесоюзной статистической ассоциации (ВСА) [18] оказалась парализованной в результате развала СССР. Наиболее полезным результатом деятельности созданных позже Российской ассоциации статистических методов (1992) и Российской академии статистических методов (1996) оказался цикл монографий и учебников, выполненных в рамках новой парадигмы анализа статистических и экспертных данных. Этот цикл монографий и учебников описан в разделе 5 настоящего доклада.
В ходе организации ВСА коллективными усилиями проанализировано состояние и перспективы развития рассматриваемой области научно-прикладных исследований и осознаны основы уже сложившейся к концу 1980-х гг. новой парадигмы анализа статистических и экспертных данных, другими словами, новой парадигмы организационно-экономического моделирования, эконометрики и статистики. 
В течение следующих лет новая парадигма развивалась и к настоящему времени оформлена в виде серии монографий и учебников для вузов, состоящей более чем из 10 книг. 

4. Сравнение старой и новой парадигм

Типовые исходные данные в новой парадигме – объекты нечисловой природы (элементы нелинейных пространств, которые нельзя складывать и умножать на число, например, множества, бинарные отношения), а в старой – числа, конечномерные векторы, функции. Ранее (в старой парадигме) для расчетов использовались разнообразные суммы, однако объекты нечисловой природы нельзя складывать, поэтому в новой парадигме применяется другой математический аппарат, основанный на расстояниях между объектами нечисловой природы и решении задач оптимизации.
Изменились постановки задач анализа данных и экономико-математического моделирования. Старая парадигма математической статистики исходит из идей начала ХХ в., когда К. Пирсон предложил четырехпараметрическое семейство распределений для описания распределений реальных данных. В это семейство как частные случаи входят, в частности, подсемейства нормальных, экспоненциальных, Вейбулла-Гнеденко, гамма-распределений. Сразу было ясно, что распределения реальных данных, как правило, не входят в семейство распределений Пирсона (об этом говорил, например, академик С.Н. Бернштейн в 1927 г. в докладе на Всероссийском съезде математиков [19]. Однако математическая теория параметрических семейств распределений (методы оценивание параметров и проверки гипотез) оказалась достаточно интересной, и именно на ней до сих пор основано преподавание во многих вузах. Итак, в старой парадигме основной подход к описанию данных - распределения из параметрических семейств, а оцениваемые величины – их параметры, в новой парадигме рассматривают произвольные распределения, а оценивают - характеристики и плотности распределений, зависимости, правила диагностики и др. Центральная часть теории – уже не статистика числовых случайных величин, а статистика в пространствах произвольной природы, т.е. нечисловая статистика [3].
В старой парадигме источники постановок новых задач - традиции, сформировавшиеся к середине ХХ века, а в новой - современные потребности математического моделирования и анализа данных (XXI век), т.е. запросы практики. Конкретизируем это общее различие. В старой парадигме типовые результаты - предельные теоремы, в новой - рекомендации для конкретных значений параметров, в частности, объемов выборок. Изменилась роль информационных технологий – ранее они использовались в основном для расчета таблиц (в частности, информатика находилась вне математической статистики), теперь же они -  инструменты получения выводов (имитационное моделирование, датчики псевдослучайных чисел, методы размножение выборок, в т.ч. бутстреп, и др.). Вид постановок задач приблизился к потребностям практики – при анализе данных от отдельных задач оценивания и проверки гипотез перешли к статистическим технологиям (технологическим процессам анализа данных). Выявилась важность проблемы «стыковки алгоритмов» - влияния выполнения предыдущих алгоритмов в технологической цепочке на условия применимости последующих алгоритмов. В старой парадигме эта проблема не рассматривалась, для новой – весьма важна.
Если в старой парадигме вопросы методологии моделирования практически не обсуждались, достаточными признавались схемы начала ХХ в., то в новой парадигме роль методологии (учения об организации деятельности) [20] является основополагающей. Резко повысилась роль моделирования – от отдельных систем аксиом произошел переход к системам моделей. Сама возможность применения вероятностного подхода теперь – не «наличие повторяющегося комплекса условий» (реликт физического определения вероятности, использовавшегося до аксиоматизации теории вероятностей А.Н. Колмогоровым в 1930-х гг.), а наличие обоснованной вероятностно-статистической модели. Если раньше данные считались полностью известными, то для новой парадигмы характерен учет свойств данных, в частности, интервальных и нечетких. Изменилось отношение к вопросам устойчивости выводов – в старой парадигме практически отсутствовал интерес к этой тематике, в новой разработана развитая теория устойчивости (робастности) выводов по отношению к допустимым отклонениям исходных данных и предпосылок моделей.
Результаты сравнения парадигм удобно представить в виде таблицы 1.

Таблица 1. Сравнение основных характеристик старой и новой парадигм

Характеристика	Старая парадигма	Новая парадигма	
Типовые исходные данные	Числа, конечномерные вектора, функции	Объекты нечисловой природы [3] 	
Основной подход к моделированию данных	Распределения из параметрических семейств 	Произвольные функции распределения	
Основной математический аппарат 	Суммы и функции от сумм	Расстояния и алгоритмы оптимизации [3]	
Источники постановок новых задач	Традиции, сформировавшиеся к середине ХХ века	Современные прикладные потребности анализа данных (XXI век)	
Отношение к вопросам устойчивости выводов	Практически отсутствует интерес к устойчивости выводов	Развитая теория устойчивости (робастности) выводов [1] 	
Оцениваемые величины	Параметры распределений	Характеристики, функции и плотности распределений, зависимости, правила диагностики и др.	
Возможность применения	Наличие повторяющегося комплекса условий	Наличие обоснованной вероятностно-статистической модели	
Центральная часть теории 	Статистика числовых случайных величин	Нечисловая статистика [3]	
Роль информационных технологий 	Только для расчета таблиц (информатика находится вне статистики)	Инструменты получения выводов (датчики псевдослучайных чисел, размножение выборок, в т.ч. бутстреп, и др.)	
Точность данных 	Данные полностью известны	Учет неопределенности данных, в частности, интервальности и нечеткости [3]	
Типовые результаты 	Предельные теоремы (при росте объемов выборок)	Рекомендации для конкретных объемов выборок	
Вид постановок задач	Отдельные задачи оценивания параметров и проверки гипотез	Высокие статистические технологии (технологические процессы анализа данных) [21] 	
Стыковка алгоритмов 	Не рассматривается	Весьма важна при разработке процессов анализа данных	
Роль моделирования 	Мала (отдельные системы аксиом)	Системы моделей – основа анализа данных	
Анализ экспертных оценок	Отдельные алгоритмы	Прикладное «зеркало» общей теории [22]	
Роль методологии	Практически отсутствует	Основополагающая [1, 23]	

5. Публикации по новой парадигме

В 1992 г. на базе секции статистических методов Всесоюзной статистической ассоциации была организована Российская ассоциация статистических методов, а в 1996 г. – Российская академия статистических методов. В соответствии с новой парадигмой проводились научные исследования, публиковались статьи, по этой тематике были организованы семинары и конференции. Однако размах работ сокращался, как и число участвующих в них исследователей. Поэтому на рубеже тысячелетий нами было принято решение сосредоточить усилия на подготовке учебной литературы, соответствующей новой парадигме.
Первым был учебник по эконометрике [6], переизданный в 2003 г. и в 2004 г. Четвертое издание «Эконометрики» [24] существенно переработано. Оно соответствует первому семестру курса, в отличие от первых трех изданий, содержащих материалы для годового курса. В [24] включены новые разделы, полностью обновлена глава про индекс инфляции, добавлено методическое обеспечение.
В фундаментальном курсе по прикладной статистике [8] в рамках новой парадигмы рассмотрены как нечисловая статистика, так и классические разделы прикладной статистики, посвященные методам обработки элементов линейных пространств - чисел, векторов и функций (временных рядов).
В том же году в рамках новой парадигмы был выпущен курс теории принятия решений [25]. Его сокращенный (в 1,5 раза) вариант вышел годом раньше [26].
В соответствии с потребностями практики в России в 2005 г. введена новая учебная специальность 220701 «Менеджмент высоких технологий», относящаяся к тогда же введенному направлению подготовки 220700 «Организация и управление наукоемкими производствами», предназначенному для обеспечения инженерами-менеджерами высокотехнологичных предприятий. Большинство студентов научно-учебного комплекса «Инженерный бизнес и менеджмент» МГТУ им. Н.Э. Баумана обучаются по этой специальности. Общий взгляд на нее представлен в учебнике [27]. 
Государственным образовательным стандартом по специальности «Менеджмент высоких технологий» предусмотрено изучение дисциплины «Организационно-экономическое моделирование». Одноименный учебник выпущен в трех частях (томах). Первая из них [3] посвящена сердцевине новой парадигмы – нечисловой статистике. Ее прикладное «зеркало» - вторая часть [22], современный учебник по экспертным оценкам. В третьей части [28] наряду с основными постановками задач анализа данных (чисел, векторов, временных радов) и конкретными статистическими методами анализа данных классических видов (чисел, векторов, временных рядов) рассмотрены вероятностно-статистические модели в технических и экономических исследованиях, медицине, социологии, истории, демографии, а также метод когнитивных карт (статистические модели динамики). 
В названиях еще двух учебников есть термин «организационно-экономическое моделирование». Это книга по менеджменту [29] и по теории принятия решений [30], в которых содержание соответствует новой парадигме, в частности, подходам организационно-экономического моделирования. Отметим, что, в учебнике [33] значительно большее внимание по сравнению с [25] уделено теории и практике экспертных оценок, в то время как проблемы менеджмента выделены для обсуждения в отдельное издание [29]. 
К рассмотренному выше корпусу учебников примыкают справочник по минимально необходимым понятиям теории вероятностей и прикладной математической статистики [31] и книги по промышленной и экологической безопасности [32] и [33], в которых большое место занимает изложение научных результатов в соответствии с новой парадигмой, в частности, активно используются современные статистические и экспертные методы, математическое моделирование. Опубликовано еще несколько изданий, но от их рассмотрения воздержимся.
Публикация учебной литературы на основе новой парадигмы шла непросто. Зачастую издать удавалось с третьего-четвертого раза. Неоценима поддержка Научно-учебного комплекса ««Инженерный бизнес и менеджмент» и МГТУ им. Н.Э. Баумана в целом, Учебно-методического объединения вузов по университетскому политехническому образованию. 
Все перечисленные монографии, учебники, учебные пособия размещены в Интернете в свободном доступе. Соответствующие ссылки приведены на персональной странице автора настоящей статьи на сайте МГТУ им. Н.Э. Баумана http://www.bmstu.ru/ps/~orlov/ и на аналогичной странице форума http://forum.orlovs.pp.ru/viewtopic.php?f=1&t=1370 сайта «Высокие статистические технологии», общего с форумом сайта Лаборатории экономико-математических методов в контроллинге Научно-образовательного центра «Контроллинг и управленческие инновации» МГТУ им. Н.Э. Баумана. Однако иногда различны названия книг в бумажном и электронном вариантах, изменения были произведены по предложению издательств.

5. Заключение

Информация о новой парадигме появилась в печати недавно – в 2012 г. (см. ссылки на соответствующие публикации в [34]). Мы не без оснований опасались, что нам могут помешать довести работу до конца. В своей тактике публикаций мы следовали Гауссу, который воздерживался от публикации работ по неевклидовой геометрии, опасаясь «криков беотийцев» [35, с.91].
На основе сказанного выше полагаем, что к настоящему моменту рекомендация Учредительного съезда ВСА по созданию комплекта учебной литературы на основе новой парадигмы выполнена. Предстоит большая работа по внедрению новой парадигмы организационно-экономического моделирования, эконометрики и статистики в научные исследования и преподавание, прежде всего новой парадигмы анализа статистических и экспертных данных в задачах управления.
Обратим внимание на новые аспекты сопоставления методов анализа статистических и экспертных данных в задачах управления, выявившиеся в дискуссии 2013 г. «Наукометрия и экспертиза в управлении наукой» [36].

Список литературы

1.	Орлов А.И. Устойчивые экономико-математические методы и модели. Разработка и развитие устойчивых экономико-математических методов и моделей для модернизации управления предприятиями.  Saarbrucken: Lambert Academic Publishing, 2011. 436 с.
2.	Кун Т. Структура научных революций. М.: АСТ, 2009. 320 с. 
3.	Орлов А.И. Организационно-экономическое моделирование. Ч.1. Нечисловая статистика. М.: Изд-во МГТУ им. Н.Э. Баумана, 2009. 541 с. 
4.	Лопатников Л.И. Экономико-математический словарь: Словарь современной экономической науки.  5-е изд., перераб. и доп. М.: Дело, 2003. 520 с.
5.	Большой Энциклопедический Словарь. М.: Большая Российская Энциклопедия, 1997. 1600 с.
6.	Орлов А.И. Эконометрика. М.: Экзамен, 2002 (1-е изд.), 2003 (2-е изд.), 2004 (3-е изд.). 576 с.
7.	Новая философская энциклопедия. В 4-х томах. Под редакцией В. С. Стёпина. М.: Мысль, 2009. 
8.	Орлов А.И. Прикладная статистика. М.: Экзамен, 2006. 671 с. 
9.	Вторые Чарновские чтения. Сборник трудов. Материалы II международной научной конференции по организации производства. Москва, 7 – 8 декабря 2012 г. М.: НП «Объединение контроллеров», 2013. 201 c.
10.	Организация и планирование машиностроительного производства (производственный менеджмент) / Под ред. Ю.В. Скворцова, Л.А. Некрасова. М.: Высшая школа, 2003. 470 с.
11.	Орлов А.И., Орлова Л.А. Применение эконометрических методов при решении задач контроллинга // Контроллинг. 2003. № 4(8). С. 50-54. 
12.	Хрусталёв Е.Ю., Хрусталёв О.Е. Когнитивное моделирование развития наукоемкой промышленности (на примере оборонно-промышленного комплекса) // Экономический анализ: теория и практика. 2013. № 10 (313). С. 2-10.
13.	Хрусталёв Е.Ю., Хрусталёв О.Е. Модельное обоснование инновационного развития наукоемкого сектора российской экономики // Экономический анализ: теория и практика. 2013. № 9 (312). С. 2-13.
14.	Михненко П.А. Методология математического моделирования организационных изменений // Экономический анализ: теория и практика. 2013. № 26 (329). С. 40-48.
15.	Карпычев В.Ю. Информационные технологии в экономических исследованиях // Экономический анализ: теория и практика. 2013. №20 (323). С. 2 – 11.
16.	Рощин А.В., Тихонов И.П., Проничкин С.В. Методический подход к оценке эффективности результатов научно-технических программ // Экономический анализ: теория и практика. 2013. № 21 (324). С. 10-18.
17.	Демидов Я.П. Теория и практика современного рейтингования: критические заметки // Экономический анализ: теория и практика. 2013. № 8 (311). С. 14-19.
18.	Орлов А.И. Создана единая статистическая ассоциация // Вестник Академии наук СССР. 1991. №7. С. 152-153. 
19.	Бернштейн С.Н. Современное состояние теории вероятностей и ее приложений // Труды Всероссийского съезда математиков в Москве 27 апреля – 4 мая 1927 г. М.-Л.: ГИЗ, 1928. С. 50-63.
20.	Новиков А.М., Новиков Д.А. Методология. М.: СИНТЕГ, 2007. 668 с. 
21.	Орлов А.И. Высокие статистические технологии // Заводская лаборатория. 2003. Т.69. №11. С. 55- 60. 
22.	Орлов А.И. Организационно-экономическое моделирование. Ч.2. Экспертные оценки. М.: Изд-во МГТУ им. Н.Э. Баумана, 2011. 486 с.
23.	Орлов А.И. О развитии методологии статистических методов // Статистические методы оценивания и проверки гипотез. Межвузовский сборник научных трудов. Пермь: Изд-во Пермского государственного  университета, 2001. С. 118 – 131. 
24.	Орлов А.И. Эконометрика. Изд. 4-е, доп. и перераб. Ростов-на-Дону: Феникс, 2009. 572 с. 
25.	Орлов А.И. Теория принятия решений. М.: Экзамен, 2006. 576 с. 
26.	Орлов А.И. Принятие решений. Теория и методы разработки управленческих решений. М.: ИКЦ «МарТ»; Ростов н/Д: Издательский центр «МарТ», 2005. 496 с. 
27.	Колобов А.А., Омельченко И.Н., Орлов А.И. Менеджмент высоких технологий. Интегрированные производственно-корпоративные структуры: организация, экономика, управление, проектирование, эффективность, устойчивость. М.: Экзамен, 2008. 621 с.
28.	Орлов А.И. Организационно-экономическое моделирование. Ч.3. Статистические методы анализа данных. М.: Изд-во МГТУ им. Н.Э. Баумана, 2012. 624 с.
29.	Орлов А.И. Менеджмент: организационно-экономическое моделирование. Ростов-на-Дону: Феникс, 2009. 475 с.
30.	Орлов А.И. Организационно-экономическое моделирование: теория принятия решений. М. : КноРус, 2011. 568 с. 
31.	Орлов А.И. Вероятность и прикладная статистика: основные факты: справочник. М.: КноРус, 2010. 192 с. 
32.	Орлов А.И., Федосеев В.Н. Менеджмент в техносфере. М.: Академия, 2003. 384 с. 
33.	Орлов А.И. Проблемы управления экологической безопасностью. Итоги двадцати лет научных исследований и преподавания. Saarbrücken: Palmarium Academic Publishing. 2012. 344 с.
34.	Орлов А.И. Основные черты новой парадигмы математической статистики // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ. – Краснодар: КубГАУ, 2013. – №06(090). С. 188-214. http://ej.kubagro.ru/2013/06/pdf/13.pdf.
35.	Клейн Ф. Лекции о развитии математики в XIX столетии. Часть I. М.-Л.: Объединенное научно-техническое издательство НКТП СССР. Главная редакция технико-теоретической литературы, 1937.  432 с.
36.	Наукометрия и экспертиза в управлении наукой: сборник статей / Под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева. М.: ИПУ РАН, 2013. 572 с.

Публикация:
	929. Орлов А.И. Новая парадигма анализа статистических и экспертных данных в задачах управления // Труды X Международной конференции «Идентификация систем и задачи управления» SICPRO '15. Москва, 26-29 января 2015 г. М.: Институт проблем управления им. В.А. Трапезникова, 2015. 1484 с. [Электронный ресурс]. - Электронные текстовые дан. (121 файл, 68,5 Мб). - М.: ИРУ РАН, 2015. - 1 электронно-оптический диск (CD-ROM). - Системные требования: Pentium 4. Acrobat PReader 6.0 и выше. - Загл. с экрана. - ISBN 978-5-91450-162-1. - С.34 - 42.